Đây là một vài truyền thuyết liên quan đến việc hình thành và đặt tên của ngôi chùa:

Theo giấc mơ của Hán Minh Đế về đức Phật người thành lập Phật giáo, các sứ giả của Minh đế đã được gửi đi để tìm kiếm kinh Phật. Họ gặp hai nhà sư Ấn độ ở Afghanistan và thuyết phục họ tham gia và cùng trở về Trung Hoa, mang theo những cuốn sách của họ về Phật giáo, di tích và tượng Phật trên hai con ngựa trắng. Hán Minh Đế rất hài lòng và đã cho xây dựng một cơ sở và đặt tên cho nó là chùa Bạch Mã, như một sự nhớ công hai con ngưa trắng đã chở các nhà sư. Các nhà sư trú ngụ ở ngôi chùa mới và ở đây họ đã dịch kinh Phật sang tiếng Trung Quốc. Phật giáo thịnh hành từ đây và với sự xuất hiện của Bồ-đề-đạt-ma, một nhà sư từ Ấn độ trong thế kỷ thứ 5, Phật giáo Trung Quốc phát triển để rồi lan sang các nước khác.Theo lời mời của Hán Minh Đế, hai nhà sư Ấn độ Kasyapa Matanga và Dharmaratna hoặc Gobharana dịch kinh Phật tại chùa Bạch Mã ở Lạc Dương, mà sau đó là thủ đô của quốc gia. Họ dịch nhiều kinh, đáng chú ý này là Kinh bốn Mươi-hai Chương (四十二章經), được dịch bởi Matanga. Đây là lần đầu tiên có kinh Phật tiếng Trung Quốc, niềm tự hào trong lịch sử Phật giáo Trung Quốc. Gobharana dịch 'Sachin Cõi' hoặc 'Mười giai đoạn của sự hoàn Hảo' ngoài ra còn có năm kinh thư khác.[10][12] Ngôi chùa sau đó đã trở nên quan trong khi Phật giáo phát triển ở Trung Quốc và lan sang Hàn quốc, Nhật, và Việt nam. Sự ra đời của Phật giáo ở Trung Quốc ảnh hưởng quan trọng đến đạo đức, lối suy nghĩ và cách hành xử của người Trung Quốc.[6]Câu truyện về ngôi chùa bắt đầu với giấc mơ của Hán Minh đế và sự thành lập ngôi chùa năm 68 sau công nguyên nhằm tôn vinh hai nhà sư và hai con ngựa trắng đã mang họ và Kinh Thư tới Trung Quốc. Hai nhà sư đã dịch rất nhiều kinh trong thời gian sống tại ngôi chùa, nơi được đặt tên là Chùa Bạch Mã. Họ đã mất tại đây và được chôn cất tại sân trong chùa. Sau khi thành lập chùa, 1000 nhà sư đã sống ở đây thuyết giảng Phật giáo.[6]

Theo phần ''Tây vực liêt truyện'' của Hậu Hán thư (cuốn Sách bao quát lich sử Đông Hán), được dựa trên một báo cáo tới hoàng đế năm 125, nhưng không được biên soạn cho đến thế kỷ thứ 5:

"Đó là một truyền thuyết phổ biến rằng Hán Minh Đế mơ rằng ông đã nhìn thấy một người cao lớn toàn thân lấp lánh ánh sáng vàng. Ông hỏi triều thần và một trong số họ nói: "Ở phía Tây có một vị thần được gọi là Phật. Cơ thể ông cao mười sáu xích (3. 7 mét)và toàn thân màu vàng. " Đó là lý do tại sao hoàng Đế cử phái viên đến tây tạng [phía tây Bắc Ấn độ] để hỏi về Phật giáo, sau đó tranh và tượng [của đức Phật] xuất hiện trong Trung Quốc."[13]

Có rất nhiều lý do khác nhau giải thích sự hình thành ngôi chùa. Yang Hsüan-chil nói trong tựa để sách của mình, A Record of the Buddhist Monasteries of Lo-yang(hoàn thành năm 547), rằng sau giấc mơ của mình, Hán Minh Đế ra lệnh cho dựng tượng Phật tại phía Nam của cung điện.[14] Tuy nhiên, Ông không đề cập đến ngôi chùa.

Hoàng Đế được cho là đã gửi một nhà sư hoặc các nhà sư đến Ấn độ hoặc Scythia sau đó đã trở về mang theo Kinh bốn Mươi-hai Chương trên một con ngựa trắng. Kinh đã được nhận bởi hoàng Đế, và nằm trong một ngôi đền được xây dựng bên ngoài thành Lạc Dương. Đó là ngôi chùa Phật giáo đầu tiên của Trung Quốc

Một phiên bản khác đề cập đến trong quyển "Indian Pandits in the Land of Snow" của Sri Sarat Chandra cung cấp phiên bản truyền thuyết sau:[10]

Những truyền thuyết liên quan đến ngôi chùa này có liên quan trực tiếp với sự xuất hiện và phát triển của Phật giáo ở Trung Quốc. Hai giấc mộng đã được đề cập đến.

Giấc mộng đầu tiên là của Chu vương, một vị vua của nhà Chu, đã thấy trong khu vực tây nam của Trung Quốc, một ánh sáng trên bầu trời, giống như một vầng hào quang thắp sáng toàn bộ không gian. Các quan chiêm tinh cho rằng một vị thánh đã được sinh ra từ phía nhà vua nhìn thấy quầng sáng. Họ cũng dự đoán sẽ có một tôn giáo được lập bởi vị thánh và rồi sẽ truyền sang Trung Quốc. Điều này đã được ghi lại bởi các quan chép sử. Năm xảy ra cũng là năm mà đức Phật được sinh ra ở Nepal.[10]

Giấc mộng thứ hai xảy ra tại Lạc Dương dưới triều Hán Minh Đế, hoàng đế thứ hai nhà Đông Hán năm 60 SCN. Trong một ngày tốt lành, hoàng đế đã có một giấc mơ về một vị thánh có làn da vàng với ánh nắng mặt Trời và Mặt Trăng chiếu sáng phía sau đang đến gần ngai vàng từ trên trời và sau đó vào cung điện của mình. Vụ việc này có liên quan với các ghi chép cổ và những sự kiện đã giải thích cho lời tiên tri trong quá khứ rằng Phật giáo sẽ đến Trung Quốc, và thời điểm đã đến. Lịch sử ghi chép Fu Hi đã giải thích giấc mơ này là của một vị thánh được gọi là Phật, người đã được sinh ra ở một nơi phía tây của Trung Quốc, Ấn độ. Hoàng đế ngay lập tức lựa chọn sứ giả tên là Taai Yin, Tain King, Wangtrun và những người khác, tất cả 18 người, để đi về phía tây để đến Ấn độ để tìm kiếm các tôn giáo thực hiện bởi đức Phật. Sau khi đi qua nhiều nước giáp Ấn độ như Getse và Yuchi (Saka Tartars), và Bactrian Greece họ đến Afghanistan (Gandhara) nơi họ gặp hai thánh tăng(la hán) tên là Kasyapa Pandita (một Bà la môn đến từ trung tâm Ấn Độ) và Bharana Pandita. Họ đã chấp nhận lời mời của các sứ giả để đi đến Trung Quốc. Sau đó họ đến Trung Quốc trên hai con ngựa trắng, đi theo các sứ giả. Họ mang theo một vài kinh Phật thiêng liêng— kinh bốn Mươi-hai Chương, tượng Phật, chân dung và các di vật thiêng liêng. Họ đến Lạc Dương nơi họ đã được thành lập một ngôi chùa. Nhà vua đã gặp họ năm 67 SCN, với lòng tôn kính và rất hài lòng với những món quà của các nhà sư. Đó là ngày 30 tháng 12 lịch Trung Quốc. Hoàng đế đã đặc biệt hạnh phúc với ảnh Phật giống như ông đã nhìn thấy trong giấc mơ. Tại thời điểm này, các nhà sư thực hiện một vài phép lạ, giúp tiếp tục củng cố niềm tin của hoàng đế ở Phật giáo.[10]

Tuy nhiên, một số đạo sĩ phản đối và muốn các hoàng đế để kiểm tra những giá trị của cả hai bên. Hoàng đế đã đồng ý và triệu tập một cuộc họp tại cổng phía nam của chùa Bạch Mã. Ông ra lệnh cho các văn bản thiêng liêng và đồ dùng tôn giáo của Đạo giáo được đặt ở cổng phía đông còn những văn bản thiêng liêng, di tích và hình ảnh Phật của những người phương tây đặt tại hành lang phía tây. Sau đó ông đã ra lệnh cho ném vào lửa, và bất cứ tài liệu của tôn giáo nào sống sót sau đó sẽ nhận được sự bảo trợ của mình. Đạo giáo mong rằng văn bản của họ sẽ sống sót. Điều này đã không xảy ra do tất cả các văn bản của đạo giáo đã bị cháy, trong khi đó đạo Phật vẫn còn. Với bài kiểm tra này, hoàng Đế đã bị thuyết phục bởi Phật giáo. Ông cùng các quan lại và hoàng thân đã theo đạo Phật. Ông đã xây dựng các ngôi chùa trong đó bao gồm 'Pai-masai', chùa Bạch Mã và ba tu viện cho các nữ tu. Hai đạo sĩ thách thức Phật giáo đã bị thiêu chết.[10]

Ngày nay có rất nhiều phiên bản mâu thuẫn của câu chuyện này, hầu hết các học giả hiện đại chấp nhận nó như là một truyền thuyết chứ không phải là một sự kiện lịch sử.[15][16][17][18] Chùa Bạch Mã không được ghi chép lại cho đến năm 289.[19] Tuy nhiên, có một chùa Bạch Mã đã được đề cập đến tại trường an năm 266 và một ngôi chùa khác cùng tên tại tỉnh Hồ bắc trong cùng một ngày.[20]

Chuyện được kể rằng trong nhưng năm tiếp theo, hoàng đế ra lệnh cho xây dựng chùa bạch mã ở phía nam của Hoàng thành bên ngoài cổng của kinh đô Lạc Dương, để nhớ đến các con ngựa mang lại kinh Phật. Sau cái chết của hoàng đế một nhà tưởng niệm được xây dựng trên ngôi mộ của ông. Ở phía trước của tòa nhà um tùm lựu và nho đã trồng được cho là lớn hơn những nơi khác.[21]

Phật giáo đã tiến hóa tại Trung Quốc sau khi đến từ Ấn độ, như là một sự pha trộn của niềm tin và nhu cầu, đặc biệt là các di sản dân gian. Đo là trường phái Đại thừa, mà sau được theo rộng rãi mặc dù Phật giáo nguyên thủy hay trường phái Tiểu thừa đến Trung Quốc trước.[22]